2022 में वैश्विक जनरेटिव एआई लहर के संदर्भ में, युआनशी एआई (RWKV) ने 2023 के दिसंबर में करोड़ों युआन की एंजल फंडिंग पूरी की, जिसमें टियानजी कैपिटल ने निवेश किया। इस फंडिंग के बाद, कंपनी का मूल्यांकन दोगुना हो गया, और धन का उपयोग टीम के विस्तार, नई आर्किटेक्चर विकास और उत्पाद व्यावसायीकरण के लिए किया जाएगा। RWKV का प्रकट होना पारंपरिक ट्रांसफार्मर आर्किटेक्चर के लिए एक मजबूत चुनौती है। बड़े भाषा मॉडल (LLM) के विकास के साथ, हालाँकि मॉडल के पैरामीटर का आकार दिन-प्रतिदिन बढ़ रहा है, लेकिन इसके अंतरों और सटीकता gibi मुद्दों पर भी

गूगल डीपमाइंड ने एक प्रमुख अध्ययन जारी किया है, जिसका केंद्र बिंदु उसके प्रस्तावित मिलियन विशेषज्ञ मॉडल - मिश्रण के चारों ओर है, जो ट्रांसफार्मर की आधार पर एक नवोन्मेषी आर्किटेक्चर का उपयोग करके महत्वपूर्ण कदम उठाता है। मिश्रण ने सैकड़ों हजारों छोटे विशेषज्ञों में से कुशलतापूर्वक और तेजी से स्पार्स खोज करने की क्षमता के माध्यम से ट्रांसफार्मर आर्किटेक्चर की क्षमता को मुक्त करने का लक्ष्य हासिल किया है। मुख्य आकर्षण उच्च पैरामीटर दक्षता वाला विशेषज्ञ खोज तंत्र है, जो उत्पाद की कुंजी तकनीक द्वारा अलग किया गया है।